A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
难一点但别太难：GRPO 课程难度递进的收益与上限
🧭 GRPO 课程学习与动态难度调度 ★ 深度解读
Dalian Maritime University
系统刻画 GRPO 训练中样本难度随策略演化，证明中等难度持续选择并非最优，适度递进到更难难度带可提升性能但过度递进有害
📌 工作参考价值（4 点）
- 在 RLVR/GRPO 训练推荐文案生成、Agent 策略优化时，不要固定使用中等难度样本。可以按当前策略采样 8~32 次估计成功概率，动态划分难度带，并分阶段推进难度带（如从成功率 0.375-0.625 推进到 0.25-0.5），但避免推进到过低成功率区间（如 0.125-0.375），观察到性能非单调下降。
- 初始难度的静态排序会随着策略训练过时：即使全局 Spearman 秩相关高达 0.81，中等难度带的成员保留率只有 20.74%。因此在需要在线数据选择时，必须定期重新估计样本难度，不能依赖训练前一次性难度标注。
- 论文使用的诊断集与训练集分离、基于噪声容忍度的耐心阶段切换策略可直接复用：设定诊断准确率超过噪声容忍度（如 0.0107）才更新 best checkpoint，连续两次未改善则切换阶段，能避免过早切换和噪声波动。
- 中等难度样本（成功率约 0.375-0.625）虽然组内学习信号强，但持续选择并非最优；适度进阶到较难带（0.25-0.5）可获得额外提升。可借鉴该结论设置课程难度带边界，并结合业务数据分布调参。